Callbacks হল Keras এর একটি শক্তিশালী বৈশিষ্ট্য যা মডেল প্রশিক্ষণের বিভিন্ন ধাপে নির্দিষ্ট কার্যক্রম সম্পাদন করতে সাহায্য করে। এটি মডেল ট্রেনিং চলাকালীন সময়ে বিভিন্ন ইভেন্টে (যেমন, প্রতি epoch শেষে) কাজ করতে পারে। Early Stopping হল একটি বিশেষ ধরনের callback, যা মডেলটির প্রশিক্ষণ বন্ধ করতে সাহায্য করে যখন এটি নতুন ডেটাতে আরও উন্নতি না করে, অর্থাৎ যখন প্রশিক্ষণ স্থিতিশীল হয়ে যায় বা overfitting হওয়ার সম্ভাবনা থাকে।
১. Keras Callbacks
Keras তে Callbacks হল সেই ফাংশন বা অবজেক্ট যা প্রশিক্ষণ প্রক্রিয়ার মধ্যে মডেলকে পর্যবেক্ষণ করে এবং নির্দিষ্ট সময়ে নির্ধারিত ক্রিয়া সম্পাদন করে। Keras অনেক ধরনের callbacks সরবরাহ করে, যেমন:
- ModelCheckpoint
- EarlyStopping
- ReduceLROnPlateau
- TensorBoard
- CSVLogger
২. Early Stopping
EarlyStopping callback মডেলের প্রশিক্ষণ শুরুর কিছু সময় পর মডেলটির কার্যকারিতা পর্যবেক্ষণ করে। যদি কোনো নির্দিষ্ট সংখ্যক epochs পর মডেলটির কার্যকারিতা (যেমন, validation loss বা validation accuracy) উন্নতি না করে, তবে এটি প্রশিক্ষণ প্রক্রিয়া বন্ধ করে দেয়। এটি overfitting এড়ানোর একটি কার্যকরী উপায়।
EarlyStopping Callback ব্যবহারের উদাহরণ:
from keras.callbacks import EarlyStopping
# EarlyStopping Callback সেটআপ
early_stopping = EarlyStopping(monitor='val_loss', # val_loss বা val_accuracy মনিটর করা
patience=5, # যদি 5 epoch কোনো উন্নতি না হয়, তখন প্রশিক্ষণ বন্ধ
verbose=1, # প্রশিক্ষণের সময় স্ট্যাটাস বার্তা দেখানো
restore_best_weights=True) # সর্বোত্তম ওয়েটস পুনরুদ্ধার করা
# মডেল ট্রেনিং
history = model.fit(x_train, y_train,
batch_size=32,
epochs=50,
validation_data=(x_val, y_val),
callbacks=[early_stopping]) # Callbacks-এ EarlyStopping ব্যবহার
Parameters:
monitor: আপনি কোন মেট্রিক বা ভ্যালু মনিটর করতে চান (যেমনval_loss,val_accuracyইত্যাদি)।patience: এটি হল সেই সংখ্যক epochs যা মডেলটি সহ্য করবে যতক্ষণ না এটি কোনো উন্নতি দেখাতে পারে। এই উদাহরণে ৫টি epochs পর্যন্ত প্রশিক্ষণ চলবে যদি validation loss উন্নতি না করে।verbose: এটি যদি ১ থাকে, তবে প্রশিক্ষণের সময় একটি বার্তা দেখাবে যখন early stopping trigger হবে।restore_best_weights: True থাকলে, প্রশিক্ষণ শেষ হওয়ার পর সর্বোত্তম মডেল ওয়েটস পুনরুদ্ধার হবে, যা সাধারণত সর্বনিম্ন validation loss এ ছিল।
৩. ModelCheckpoint Callback
ModelCheckpoint callback এর মাধ্যমে মডেলটি নির্দিষ্ট পর্যায়ে (যেমন, প্রতি epoch শেষে) সেভ করা হয়। এটি বিশেষভাবে কার্যকরী যখন আপনার মডেলটি অনেক সময় ধরে প্রশিক্ষণ নিচ্ছে এবং আপনি সেরা মডেলটি সংরক্ষণ করতে চান।
ModelCheckpoint Callback ব্যবহারের উদাহরণ:
from keras.callbacks import ModelCheckpoint
# ModelCheckpoint Callback সেটআপ
checkpoint = ModelCheckpoint('best_model.h5', # মডেল ফাইল সেভের পাথ
monitor='val_loss', # কিভাবে মনিটর করবেন
save_best_only=True, # শুধুমাত্র সেরা মডেল সেভ করবে
verbose=1)
# মডেল ট্রেনিং
history = model.fit(x_train, y_train,
batch_size=32,
epochs=50,
validation_data=(x_val, y_val),
callbacks=[checkpoint]) # Callbacks-এ ModelCheckpoint ব্যবহার
Parameters:
monitor: যে মেট্রিক বা ভ্যালু আপনি মনিটর করতে চান (যেমনval_loss,val_accuracy)।save_best_only: যদিTrueথাকে, তাহলে শুধু সেই মডেলটি সেভ হবে যেটি সবচেয়ে ভালো পারফর্ম করছে (যেমন, সর্বনিম্ন validation loss)।verbose: এটি যদি ১ থাকে, তবে সেভ করার সময় বার্তা দেখাবে।
৪. ReduceLROnPlateau Callback
ReduceLROnPlateau callback মডেলের প্রশিক্ষণ চলাকালীন সময়ে, যদি কোনও মেট্রিক (যেমন, validation loss) একটি নির্দিষ্ট সীমা পর্যন্ত উন্নতি না করে, তবে লার্নিং রেট স্বয়ংক্রিয়ভাবে কমিয়ে দেয়। এটি মডেল প্রশিক্ষণের গতি উন্নত করার জন্য ব্যবহৃত হয়।
ReduceLROnPlateau Callback ব্যবহারের উদাহরণ:
from keras.callbacks import ReduceLROnPlateau
# ReduceLROnPlateau Callback সেটআপ
reduce_lr = ReduceLROnPlateau(monitor='val_loss', # কী মনিটর করতে চান
factor=0.2, # লার্নিং রেট কমানোর জন্য গুণফল
patience=3, # ৩ epochs কোনো উন্নতি না হলে লার্নিং রেট কমানো হবে
min_lr=0.0001, # সর্বনিম্ন লার্নিং রেট
verbose=1)
# মডেল ট্রেনিং
history = model.fit(x_train, y_train,
batch_size=32,
epochs=50,
validation_data=(x_val, y_val),
callbacks=[reduce_lr]) # Callbacks-এ ReduceLROnPlateau ব্যবহার
Parameters:
monitor: আপনি যে মেট্রিক মনিটর করতে চান (যেমনval_lossবাval_accuracy)।factor: লার্নিং রেট কমানোর জন্য গুণফল (এখানে, লার্নিং রেটকে 0.2 গুণ কমানো হবে)।patience: কতোটি epoch পর যদি মেট্রিক উন্নতি না করে, তাহলে লার্নিং রেট কমানো হবে।min_lr: সর্বনিম্ন লার্নিং রেট যা থাকবে।verbose: এটি যদি ১ থাকে, তবে লার্নিং রেট কমানোর সময় বার্তা দেখাবে।
সারাংশ
Keras তে callbacks মডেল ট্রেনিংকে আরও কার্যকরী, উপযোগী এবং কাস্টমাইজড করতে সাহায্য করে। EarlyStopping callback মডেলটির overfitting এড়াতে সাহায্য করে, যখন ModelCheckpoint এবং ReduceLROnPlateau মডেলটির প্রশিক্ষণ কার্যকরী এবং দ্রুত করতে সাহায্য করে। এগুলি আপনার মডেল প্রশিক্ষণের সময় আরও নিয়ন্ত্রণ এবং স্থিতিশীলতা এনে দেয়।
Callbacks হল এমন ফাংশন বা মেথড যা একটি নির্দিষ্ট ইভেন্ট বা শর্ত পূর্ণ হলে কল (বা চালানো) হয়। Keras-এ, Callbacks মূলত training প্রক্রিয়ার সময় নির্দিষ্ট পয়েন্টে কিছু কার্যকরী কাজ সম্পাদন করার জন্য ব্যবহৃত হয়। এগুলি বিশেষত মডেল প্রশিক্ষণের সময় কিছু অতিরিক্ত কার্যকলাপ যেমন early stopping, learning rate adjustment, model saving, TensorBoard logging, এবং আরও অনেক কিছু পরিচালনা করতে ব্যবহৃত হয়।
Keras-এ Callbacks গুলি সহজে ট্রেইনিং প্রক্রিয়া এবং বিভিন্ন ইভেন্টের উপর ভিত্তি করে সংযুক্ত করা যেতে পারে, যা মডেল প্রশিক্ষণ এবং মডেল উন্নত করার জন্য সহায়ক।
Callbacks এর প্রধান ব্যবহার
- Early Stopping: প্রশিক্ষণ চলাকালীন যদি মডেলটির পারফরম্যান্স উন্নতি না হয় (যেমন, ভ্যালিডেশন লস কমতে না থাকে), তখন প্রশিক্ষণ থামানোর জন্য early stopping ব্যবহার করা হয়।
- Model Checkpointing: প্রশিক্ষণ চলাকালীন সেরা মডেল সংরক্ষণ করার জন্য model checkpoint ব্যবহার করা হয়।
- Learning Rate Scheduling: প্রশিক্ষণের সময় লার্নিং রেট পরিবর্তন করতে learning rate scheduler ব্যবহার করা হয়।
- TensorBoard Logging: প্রশিক্ষণ চলাকালীন TensorBoard লগিং পরিচালনা করার জন্য TensorBoard callback ব্যবহার করা হয়।
Keras-এ Callback এর কাজ
Callbacks-এ ব্যবহৃত কিছু সাধারণ ফাংশনালিটি নিচে দেওয়া হলো:
on_epoch_end(epoch, logs=None): প্রতি epoch শেষে কল করা হয়। এটি প্রশিক্ষণ চলাকালীন কিছু নির্দিষ্ট কাজ করার জন্য ব্যবহৃত হতে পারে, যেমন ভ্যালিডেশন স্কোর বা লস লগ করা।on_batch_end(batch, logs=None): প্রতি batch শেষে কল করা হয়। এতে প্রশিক্ষণ চলাকালীন batch ভিত্তিক কার্যকলাপ পরিচালনা করা যেতে পারে।on_train_end(logs=None): প্রশিক্ষণ শেষ হলে কল করা হয়।on_train_begin(logs=None): প্রশিক্ষণ শুরু হওয়ার সময় কল করা হয়।
Callback এর সাধারণ উদাহরণ
এখানে EarlyStopping এবং ModelCheckpoint Callback এর ব্যবহার দেখানো হয়েছে:
১. EarlyStopping Callback
EarlyStopping ব্যবহার করে আপনি মডেল ট্রেনিং চলাকালীন যদি কোন নির্দিষ্ট সময়ে ভ্যালিডেশন লস বা মেট্রিক উন্নতি না করে, তবে প্রশিক্ষণ থামাতে পারেন।
from keras.callbacks import EarlyStopping
# EarlyStopping callback সেট করা
early_stopping = EarlyStopping(monitor='val_loss', patience=3)
# মডেল প্রশিক্ষণ
model.fit(x_train, y_train, epochs=100, validation_data=(x_val, y_val), callbacks=[early_stopping])
এখানে:
monitor: আপনি কোন মেট্রিক ট্র্যাক করতে চান (যেমন,val_lossবাval_accuracy).patience: এই মানটি নির্ধারণ করে কতো epochs পরবর্তী পর্যায়ে প্রশিক্ষণ থামবে যদি মেট্রিকটি উন্নতি না করে।
২. ModelCheckpoint Callback
ModelCheckpoint ব্যবহার করে আপনি প্রশিক্ষণ চলাকালীন সেরা মডেল সেভ করতে পারেন। এর মাধ্যমে আপনি একটি মডেল সংরক্ষণ করতে পারবেন যা সর্বোচ্চ পারফরম্যান্স অর্জন করেছে।
from keras.callbacks import ModelCheckpoint
# ModelCheckpoint callback সেট করা
checkpoint = ModelCheckpoint('best_model.h5', monitor='val_loss', save_best_only=True)
# মডেল প্রশিক্ষণ
model.fit(x_train, y_train, epochs=100, validation_data=(x_val, y_val), callbacks=[checkpoint])
এখানে:
save_best_only=True: এটি কেবলমাত্র সেরা মডেল সংরক্ষণ করবে।monitor: এটি বলে যে কিসের ভিত্তিতে মডেল সেভ করা হবে (যেমনval_lossবাval_accuracy).
৩. Learning Rate Scheduler Callback
Learning Rate Scheduler ব্যবহার করে প্রশিক্ষণের সময় লার্নিং রেট পরিবর্তন করা যায়, যাতে মডেল আরও দ্রুত শিখতে পারে।
from keras.callbacks import LearningRateScheduler
# Learning rate function
def scheduler(epoch, lr):
if epoch % 10 == 0 and epoch > 0:
lr = lr * 0.1
return lr
# LearningRateScheduler callback সেট করা
lr_scheduler = LearningRateScheduler(scheduler)
# মডেল প্রশিক্ষণ
model.fit(x_train, y_train, epochs=100, validation_data=(x_val, y_val), callbacks=[lr_scheduler])
এখানে:
scheduler: এটি একটি ফাংশন যা প্রতি epoch শেষে লার্নিং রেট পরিবর্তন করবে।lr: এটি বর্তমান লার্নিং রেট, যা ফাংশনটি নিয়ন্ত্রণ করবে।
৪. TensorBoard Callback
TensorBoard হল একটি টুল যা মডেল প্রশিক্ষণ চলাকালীন লগিং তথ্য দেখতে ব্যবহৃত হয়। Keras-এর TensorBoard Callback ব্যবহারের মাধ্যমে আপনি প্রশিক্ষণ চলাকালীন মেট্রিক্স এবং গ্রাফ দেখতে পারবেন।
from keras.callbacks import TensorBoard
# TensorBoard callback সেট করা
tensorboard = TensorBoard(log_dir='./logs', histogram_freq=1)
# মডেল প্রশিক্ষণ
model.fit(x_train, y_train, epochs=100, validation_data=(x_val, y_val), callbacks=[tensorboard])
এখানে:
log_dir: এটি সেই ডিরেক্টরি যেখানে TensorBoard লগ সংরক্ষিত হবে।histogram_freq=1: এটি ইন্ডিকেট করে যে, প্রতিটি epoch শেষে মেট্রিক্সের হিস্টোগ্রাম লগ করা হবে।
Callbacks ব্যবহার করার সুবিধা
- Automation: Callbacks আপনি প্রশিক্ষণ প্রক্রিয়া অটোমেট করতে সাহায্য করে, যেমন মডেল সেভ করা, লার্নিং রেট পরিবর্তন করা, বা প্রশিক্ষণ থামানো।
- Model Optimization: Callbacks মডেল ট্রেনিংকে অপটিমাইজ করতে সহায়ক, যেমন early stopping ব্যবহার করে overfitting রোধ করা।
- Monitoring: প্রশিক্ষণ চলাকালীন TensorBoard বা অন্যান্য লগিং ফিচার ব্যবহার করে আপনি মডেলের কর্মক্ষমতা ট্র্যাক করতে পারেন।
- Custom Actions: আপনি প্রশিক্ষণ প্রক্রিয়ার মধ্যে কিছু কাস্টম কাজ করতে পারবেন যেমন কাস্টম মেট্রিক্স পরিমাপ বা ব্যাচে ব্যাচে কিছু কার্যক্রম সম্পাদন করা।
সারাংশ
Callbacks হল এমন ফাংশন যা Keras মডেল ট্রেনিং চলাকালে নির্দিষ্ট ইভেন্ট বা শর্তের উপর ভিত্তি করে কাজ করে। এটি early stopping, model checkpointing, learning rate adjustment, এবং TensorBoard logging এর মতো বিভিন্ন কার্যকলাপ পরিচালনা করতে ব্যবহৃত হয়। Callbacks মডেল প্রশিক্ষণ প্রক্রিয়াকে আরও দক্ষ এবং নিয়ন্ত্রণযোগ্য করে তোলে।
Keras এ ModelCheckpoint এবং EarlyStopping হল দুটি অত্যন্ত কার্যকরী কলব্যাক, যা মডেল প্রশিক্ষণের সময় অতিরিক্ত প্রশিক্ষণ বা অপর্যাপ্ত প্রশিক্ষণ সমস্যা এড়াতে সহায়ক। এই দুটি কলব্যাক প্রশিক্ষণের গতি বাড়ানোর পাশাপাশি মডেলের কার্যকারিতা উন্নত করতে সাহায্য করে।
১. ModelCheckpoint
ModelCheckpoint কলব্যাকটি ব্যবহার করা হয় প্রশিক্ষণের সময় মডেলের সর্বোচ্চ কার্যকারিতা (validation accuracy বা loss) অনুসারে সেরা মডেল সেভ (save) করার জন্য। এটি best model সংরক্ষণ করতে সহায়ক, যাতে আপনি প্রশিক্ষণ শেষে সর্বোত্তম মডেল ব্যবহার করতে পারেন।
ব্যবহারের উদ্দেশ্য:
- প্রশিক্ষণের পরে সেরা মডেলটি সেভ করা।
- EarlyStopping এর সাথে ব্যবহৃত হলে, মডেল যখন আর উন্নতি করতে পারে না, তখন সেরা মডেল সংরক্ষণ করা।
উদাহরণ:
from tensorflow.keras.callbacks import ModelCheckpoint
# ModelCheckpoint কলব্যাক সেটআপ
checkpoint = ModelCheckpoint('best_model.h5',
monitor='val_loss', # কোন মেট্রিকটি মনিটর করা হবে
save_best_only=True, # সর্বোচ্চ পারফরম্যান্সের মডেল সেভ হবে
mode='min', # min হলে val_loss কম হলে সেভ হবে
verbose=1) # প্রশিক্ষণের সময় লগ দেখাবে
# মডেল প্রশিক্ষণ
model.fit(X_train, y_train,
epochs=20,
validation_data=(X_val, y_val),
callbacks=[checkpoint])
মূল প্যারামিটারসমূহ:
- monitor: কোন মেট্রিক (যেমন:
val_loss,val_accuracy) পর্যবেক্ষণ করা হবে। - save_best_only: যদি
Trueহয়, শুধুমাত্র সবচেয়ে ভাল মেট্রিক পেতে মডেলটি সেভ হবে। - mode: এটি নির্দেশ করে কিভাবে মেট্রিকটি পর্যবেক্ষণ করা হবে।
minহলে ছোট মান (যেমনval_loss) সেরা হবে,maxহলে বড় মান (যেমনaccuracy) সেরা হবে। - verbose: লগ দেখতে চাওয়া।
1দিলে প্রশিক্ষণের সময় কিছু তথ্য দেখাবে।
২. EarlyStopping
EarlyStopping কলব্যাকটি প্রশিক্ষণ চলাকালীন মডেলের overfitting (অতিরিক্ত প্রশিক্ষণ) বা underfitting (অপর্যাপ্ত প্রশিক্ষণ) রোধ করতে সাহায্য করে। এটি validation loss বা validation accuracy এর ভিত্তিতে প্রশিক্ষণ থামিয়ে দেয়, যদি কয়েকটি ইপোকের মধ্যে উন্নতি না ঘটে।
ব্যবহারের উদ্দেশ্য:
- মডেলকে অতিরিক্ত প্রশিক্ষণ থেকে রক্ষা করা, যাতে overfitting না ঘটে।
- মডেলের কার্যকারিতা স্থিতিশীল থাকলে প্রশিক্ষণ শেষ করা।
উদাহরণ:
from tensorflow.keras.callbacks import EarlyStopping
# EarlyStopping কলব্যাক সেটআপ
early_stopping = EarlyStopping(monitor='val_loss', # কোন মেট্রিকটি মনিটর করা হবে
patience=3, # কত ইপোক পর থামানো হবে যদি কোন উন্নতি না হয়
mode='min', # 'min' হলে val_loss কম হলে থামানো হবে
verbose=1) # প্রশিক্ষণের সময় লগ দেখাবে
# মডেল প্রশিক্ষণ
model.fit(X_train, y_train,
epochs=20,
validation_data=(X_val, y_val),
callbacks=[early_stopping])
মূল প্যারামিটারসমূহ:
- monitor: কোন মেট্রিক (যেমন:
val_loss,val_accuracy) পর্যবেক্ষণ করা হবে। - patience: কত ইপোকের জন্য অপেক্ষা করা হবে যদি কোন উন্নতি না ঘটে। উদাহরণস্বরূপ, যদি
patience=3হয়, তাহলে 3 ইপোক পর্যন্ত যদিval_lossউন্নতি না করে, তখন প্রশিক্ষণ থামানো হবে। - mode: এটি নির্দেশ করে কিভাবে মেট্রিকটি পর্যবেক্ষণ করা হবে।
minহলে, ছোট মান (যেমনval_loss) সেরা হবে,maxহলে বড় মান (যেমনval_accuracy) সেরা হবে। - verbose: প্রশিক্ষণ চলাকালীন লগ দেখতে চান কিনা।
ModelCheckpoint এবং EarlyStopping একত্রে ব্যবহার
এখন, যদি আপনি ModelCheckpoint এবং EarlyStopping একসাথে ব্যবহার করতে চান, তাহলে প্রশিক্ষণের সময় মডেলের সর্বোত্তম পারফরম্যান্স সেভ করতে এবং অতিরিক্ত প্রশিক্ষণ রোধ করতে হবে।
উদাহরণ:
from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
# ModelCheckpoint কলব্যাক
checkpoint = ModelCheckpoint('best_model.h5',
monitor='val_loss',
save_best_only=True,
mode='min',
verbose=1)
# EarlyStopping কলব্যাক
early_stopping = EarlyStopping(monitor='val_loss',
patience=3, # 3 ইপোকের মধ্যে উন্নতি না হলে থামানো হবে
mode='min',
verbose=1)
# মডেল প্রশিক্ষণ
model.fit(X_train, y_train,
epochs=20,
validation_data=(X_val, y_val),
callbacks=[checkpoint, early_stopping])
সারাংশ
- ModelCheckpoint: মডেল প্রশিক্ষণ চলাকালীন সর্বোত্তম মেট্রিক অর্জন করা মডেল সেভ করতে ব্যবহৃত হয়।
- EarlyStopping: মডেল প্রশিক্ষণের সময়, যখন কোন উন্নতি না হয়, তখন প্রশিক্ষণ থামিয়ে overfitting রোধ করতে ব্যবহৃত হয়।
এই দুটি কলব্যাক একত্রে ব্যবহার করলে, আপনি একটি optimal মডেল তৈরি করতে পারবেন, যা অতিরিক্ত প্রশিক্ষণ না করেই ভালো পারফরম্যান্স প্রদান করবে।
ডীপ লার্নিং মডেল ট্রেনিংয়ের সময় learning rate (LR) একটি গুরুত্বপূর্ণ হাইপারপারামিটার। এই প্যারামিটারটি মডেল কত দ্রুত বা ধীরে শিখবে তা নির্ধারণ করে। সঠিক learning rate নির্বাচন করা মডেলের কর্মক্ষমতা এবং ট্রেনিং সময়ের ওপর গুরুত্বপূর্ণ প্রভাব ফেলে। একে সঠিকভাবে পরিচালনা করতে, Learning Rate Scheduler এবং ReduceLROnPlateau কৌশলগুলি ব্যবহৃত হয়।
১. Learning Rate Scheduler
Learning Rate Scheduler একটি কৌশল যা ট্রেনিং চলাকালীন learning rate এর মান পরিবর্তন করে। সাধারণত, এটি learning rate-কে একটি নির্দিষ্ট নিয়মে বা এক্সপোনেনশিয়ালি কমিয়ে দেয়, যাতে মডেল ধীরে ধীরে প্রশিক্ষিত হয় এবং সবচেয়ে ভাল পারফরম্যান্সে পৌঁছায়।
Learning Rate Scheduler এর প্রকারসমূহ:
Step Decay:
- এতে নির্দিষ্ট ইপোক পর learning rate একটি স্থির পরিমাণ কমে যায়। উদাহরণস্বরূপ, প্রতি ১০০ ইপোক পর LR 0.1 গুণ কমে যাবে।
- এটি সাধারণত কিছু সময় পর মডেলকে আরো নির্ভুলভাবে শিখতে সাহায্য করে।
def step_decay(epoch): initial_lr = 0.1 drop = 0.5 epoch_drop = 10.0 lr = initial_lr * math.pow(drop, math.floor((1+epoch)/epoch_drop)) return lrExponential Decay:
- Exponential decay learning rate কে একটি নির্দিষ্ট এক্সপোনেনশিয়াল ফ্যাক্টর দ্বারা কমিয়ে দেয়।
- এটি অনেক দ্রুত পরিবর্তন এবং মডেলকে ধীরে ধীরে নির্ভুল করতে সহায়ক।
def exponential_decay(epoch): initial_lr = 0.1 lr = initial_lr * math.exp(-0.1 * epoch) return lrCosine Annealing:
- এটি learning rate কে একটি কসমাইন ফাংশনের মতো পরিবর্তন করে, প্রথমে এটি কমে তারপর আবার বাড়তে থাকে, যা মডেলের ট্রেনিং প্রক্রিয়াকে আরও সূক্ষ্ম করে তোলে।
def cosine_annealing(epoch, lr_max, lr_min, T_max): return lr_min + 0.5 * (lr_max - lr_min) * (1 + math.cos(math.pi * epoch / T_max))Cyclical Learning Rate:
- এতে learning rate একটি নির্দিষ্ট সীমার মধ্যে ওঠানামা করে। এটি দ্রুত মডেলের প্রশিক্ষণ করতে সাহায্য করে এবং স্থিতিশীলতা অর্জনে সহায়তা করে।
from tensorflow.keras.callbacks import Callback class CyclicLR(Callback): def __init__(self, base_lr, max_lr, step_size, mode='triangular'): self.base_lr = base_lr self.max_lr = max_lr self.step_size = step_size self.mode = mode def on_epoch_end(self, epoch, logs=None): cycle = math.floor(1 + epoch / (2 * self.step_size)) x = abs(epoch / self.step_size - 2 * cycle + 1) if self.mode == 'triangular': lr = self.base_lr + (self.max_lr - self.base_lr) * max(0, (1 - x)) self.model.optimizer.lr.assign(lr)
২. ReduceLROnPlateau
ReduceLROnPlateau হলো একটি জনপ্রিয় কৌশল যা learning rate-কে প্রশিক্ষণের সময় loss (অথবা মেট্রিক) সঠিকভাবে উন্নতি না করলে কমিয়ে দেয়। এটি মূলত early stopping এর মত কাজ করে, তবে এটি learning rate কমিয়ে মডেলকে আরও ভাল করতে সাহায্য করতে পারে।
ReduceLROnPlateau এর মূল ধারণা:
- Plateau এর মানে হল যে, যদি মডেলের পারফরম্যান্স (যেমন, validation loss বা accuracy) কোনো নির্দিষ্ট সংখ্যক ইপোকের জন্য উন্নতি না করে, তাহলে learning rate স্বয়ংক্রিয়ভাবে কমিয়ে দেওয়া হয়।
- এটি ট্রেনিংয়ের শেষের দিকে, যেখানে মডেল এক পর্যায়ে পৌঁছেছে এবং উন্নতি বন্ধ হয়ে গেছে, সেখানে বেশি learning rate ব্যবহার করার পরিবর্তে একটি ছোট learning rate ব্যবহার করে মডেলটিকে আরও ভালোভাবে অপটিমাইজ করতে সহায়তা করে।
ReduceLROnPlateau এর কনফিগারেশন:
- monitor: যে মেট্রিকটিতে মনিটর করা হবে (যেমন, 'val_loss', 'accuracy')।
- factor: Learning rate কতটা কমানো হবে (যেমন, 0.1 মানে লার্নিং রেট ১০ গুণ কমানো হবে)।
- patience: কত ইপোক পর মডেল যদি উন্নতি না করে, তাহলে learning rate কমানো হবে।
- min_lr: কমপক্ষে যে learning rate হতে পারে, এর নিচে কমানো যাবে না।
কোড উদাহরণ:
from tensorflow.keras.callbacks import ReduceLROnPlateau
# ReduceLROnPlateau কনফিগারেশন
reduce_lr = ReduceLROnPlateau(monitor='val_loss', # মনিটর করা মেট্রিক
factor=0.1, # learning rate কমানোর হার
patience=5, # ৫ ইপোক পর যদি উন্নতি না হয়
verbose=1, # লার্নিং রেট কমানোর সময় আউটপুট দেখানো হবে
min_lr=0.0001) # মেট্রিকের উন্নতি না হলে learning rate কমবে
# মডেল প্রশিক্ষণের সময় ReduceLROnPlateau ব্যবহার করা
model.fit(x_train, y_train, epochs=100, batch_size=32,
validation_data=(x_val, y_val),
callbacks=[reduce_lr])
Advantages of ReduceLROnPlateau:
- এটি automatic learning rate adjustment দিয়ে মডেল প্রশিক্ষণ করে এবং শেখার প্রক্রিয়াকে আরও কার্যকরী করে তোলে।
- মডেল যদি কোনো নির্দিষ্ট ইপোক পর শিখতে না পারে তবে লার্নিং রেট কমিয়ে দিয়ে আবার নতুনভাবে শিখানোর সুযোগ দেয়।
- এটি মডেলকে overfitting এড়াতে সহায়ক হতে পারে।
সারাংশ
- Learning Rate Scheduler: এটি প্রশিক্ষণের সময় learning rate কমানোর জন্য বিভিন্ন কৌশল ব্যবহার করে, যেমন Step Decay, Exponential Decay, এবং Cosine Annealing। এই কৌশলগুলি মডেলকে ধীরে ধীরে ট্রেনিং করতে সহায়তা করে এবং প্রশিক্ষণ শেষে খুব বেশি পরিবর্তন থেকে বিরত থাকে।
- ReduceLROnPlateau: এটি learning rate কমানোর জন্য loss বা অন্যান্য মেট্রিকের পর্যালোচনা করে, এবং যখন মডেল আর উন্নতি করতে পারে না তখন লার্নিং রেট কমিয়ে দেয়। এটি training process এর মধ্যে গতি আনতে এবং মডেলটিকে আরও ভাল করতে সহায়তা করে।
এই দুইটি কৌশলই মডেলের ট্রেনিংয়ের সময় learning rate নিয়ন্ত্রণে রাখতে সহায়ক এবং মডেল প্রশিক্ষণের গতি ও কার্যকারিতা বাড়াতে গুরুত্বপূর্ণ ভূমিকা পালন করে।
Keras-এ Callbacks হল সেই ফাংশন বা অবজেক্ট যা প্রশিক্ষণ চলাকালীন বিভিন্ন ইভেন্টের সময় কার্যকর হয়। উদাহরণস্বরূপ, মডেল প্রশিক্ষণের সময় epoch এর শেষে, batch প্রসেসিংয়ের শেষে বা validation এর সময়। Custom callbacks তৈরি করা হয় যখন আমাদের প্রয়োজন হয় কোনো নির্দিষ্ট কাজ করতে প্রশিক্ষণ চলাকালীন, যেমন, এক্সপেরিমেন্টাল মেট্রিক্স রেকর্ড করা, মডেল সংরক্ষণ করা বা early stopping কাস্টমাইজ করা।
Keras-এ Callback ক্লাসের মাধ্যমে কাস্টম কলব্যাক তৈরি করা যায়। এটি একটি বেস ক্লাস, যা মডেলের প্রশিক্ষণের বিভিন্ন স্টেজে ক্রিয়াকলাপ চালানোর জন্য মেথড সরবরাহ করে।
Custom Callback তৈরি করা
১. Custom Callback এর বেসিক স্ট্রাকচার
Custom Callback তৈরি করতে, tf.keras.callbacks.Callback ক্লাসটি ইনহেরিট করতে হয় এবং এর মধ্যে কিছু মেথডও কাস্টমাইজ করা হয়। কিছু গুরুত্বপূর্ণ মেথড যা কাস্টম কলব্যাক তৈরি করার সময় ব্যবহার করা হয়:
on_epoch_end(epoch, logs=None): প্রতি epoch শেষে কাজ করা।on_batch_end(batch, logs=None): প্রতি batch শেষে কাজ করা।on_train_end(logs=None): প্রশিক্ষণ শেষ হলে কাজ করা।on_train_begin(logs=None): প্রশিক্ষণ শুরু হলে কাজ করা।
এখানে একটি উদাহরণ দেওয়া হলো, যেখানে একটি কাস্টম কলব্যাক তৈরি করা হয়েছে যা epoch এর শেষে মডেলটির লস এবং অ্যাকিউরেসি প্রিন্ট করে:
import tensorflow as tf
# Custom Callback তৈরি করা
class CustomCallback(tf.keras.callbacks.Callback):
def on_epoch_end(self, epoch, logs=None):
# epoch শেষে লস এবং অ্যাকিউরেসি প্রিন্ট করা
print(f"Epoch {epoch+1}: loss = {logs['loss']}, accuracy = {logs['accuracy']}")
# মডেল তৈরি করা
model = tf.keras.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dense(10, activation='softmax')
])
# মডেল কম্পাইল করা
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
# মডেল ট্রেনিং
model.fit(x_train, y_train, epochs=5, callbacks=[CustomCallback()])
এই কাস্টম কলব্যাকটি প্রতি epoch এর শেষে লস এবং অ্যাকিউরেসি প্রিন্ট করবে। এখানে, logs একটি dictionary, যেখানে মডেলের পারফরম্যান্সের বিভিন্ন তথ্য থাকে, যেমন loss, accuracy, val_loss, val_accuracy ইত্যাদি।
২. Custom Callback দিয়ে Early Stopping কাস্টমাইজ করা
Keras-এর built-in EarlyStopping কলব্যাক সাধারণত প্রশিক্ষণ চলাকালীন মডেলের পারফরম্যান্স পর্যবেক্ষণ করে, এবং যদি নির্দিষ্ট সংখ্যক epochs পরে উন্নতি না হয়, তাহলে প্রশিক্ষণ বন্ধ করে দেয়। আমরা যদি Custom EarlyStopping কলব্যাক তৈরি করতে চাই, তাহলে নিচের মতো করতে পারি:
class CustomEarlyStopping(tf.keras.callbacks.Callback):
def __init__(self, patience=3):
super().__init__()
self.patience = patience
self.best_loss = float('inf')
self.wait = 0
def on_epoch_end(self, epoch, logs=None):
current_loss = logs.get('loss')
if current_loss < self.best_loss:
self.best_loss = current_loss
self.wait = 0
else:
self.wait += 1
if self.wait >= self.patience:
print("Early stopping triggered!")
self.model.stop_training = True
# মডেল কম্পাইল এবং ট্রেনিং
model.fit(x_train, y_train, epochs=20, callbacks=[CustomEarlyStopping(patience=3)])
এই কাস্টম কলব্যাকটি একটি patience প্যারামিটার গ্রহণ করে, যা নির্ধারণ করে যে কতগুলো epochs মডেলের পারফরম্যান্সের কোনো উন্নতি না ঘটলে প্রশিক্ষণ বন্ধ করা হবে।
৩. Custom Callback দিয়ে মডেল সেভ করা
কাস্টম কলব্যাক ব্যবহার করে আপনি প্রশিক্ষণ চলাকালীন মডেল সংরক্ষণও করতে পারেন। এখানে একটি উদাহরণ দেওয়া হলো যেখানে আমরা প্রতি epoch শেষে মডেল সেভ করব:
class SaveModelCallback(tf.keras.callbacks.Callback):
def __init__(self, save_dir):
super().__init__()
self.save_dir = save_dir
def on_epoch_end(self, epoch, logs=None):
# epoch শেষে মডেল সেভ করা
model.save(f"{self.save_dir}/model_epoch_{epoch+1}.h5")
print(f"Model saved at epoch {epoch+1}")
# মডেল কম্পাইল এবং ট্রেনিং
save_callback = SaveModelCallback(save_dir="models")
model.fit(x_train, y_train, epochs=10, callbacks=[save_callback])
এখানে, SaveModelCallback প্রতি epoch শেষে মডেলটি সংরক্ষণ করবে।
৪. Custom Callback ব্যবহার করে মডেল লগিং
কাস্টম কলব্যাক ব্যবহার করে আপনি প্রশিক্ষণের বিভিন্ন পর্যায়ে মডেলের logs বা metrics ট্র্যাকও করতে পারেন, যেমন একটি নির্দিষ্ট মেট্রিকের উপর ভিত্তি করে লোগিং করা:
class LoggingCallback(tf.keras.callbacks.Callback):
def on_epoch_end(self, epoch, logs=None):
# মডেল লস এবং অ্যাকিউরেসি লগ করা
print(f"Epoch {epoch+1} - loss: {logs['loss']} - accuracy: {logs['accuracy']}")
# মডেল ট্রেনিং
model.fit(x_train, y_train, epochs=5, callbacks=[LoggingCallback()])
৫. Callback ব্যবহার করার উপকারিতা
- Dynamic Training Adjustments: কাস্টম কলব্যাক ব্যবহার করে আপনি প্রশিক্ষণ চলাকালীন মডেল আপডেট বা পরিবর্তন করতে পারেন, যেমন learning rate কমানো বা early stopping চালানো।
- Model Checkpoints: মডেল সেভ করার জন্য কলব্যাক ব্যবহার করা হয়, যাতে প্রশিক্ষণের মধ্যে ভাল মডেলগুলো সংরক্ষণ করা যায়।
- Logs and Monitoring: কাস্টম কলব্যাক ব্যবহার করে আপনি মডেলের পারফরম্যান্স লগ এবং পর্যবেক্ষণ করতে পারেন, যা মডেল অপ্টিমাইজেশনের জন্য সহায়ক।
- Adapt to Requirements: আপনার নিজের বিশেষ প্রয়োজনীয়তার জন্য কাস্টম কলব্যাক তৈরি করা যায়, যেমন উন্নত learning rate schedules, metric-based callbacks, বা complex validation conditions।
সারাংশ
Keras-এ Custom Callbacks তৈরি করার মাধ্যমে প্রশিক্ষণ প্রক্রিয়া আরও নমনীয় এবং কাস্টমাইজযোগ্য করা যায়। আপনি প্রশিক্ষণের বিভিন্ন ইভেন্টে যেমন epoch_end, batch_end, train_end ইত্যাদিতে নির্দিষ্ট কাজ করতে পারেন। আপনি early stopping, model saving, logs tracking এবং অন্যান্য অনেক কাস্টম কার্যকারিতা প্রয়োগ করতে পারেন। Keras এর Callback ক্লাসটি এই কাজগুলির জন্য একটি শক্তিশালী এবং নমনীয় কাঠামো প্রদান করে।
Read more
